AdaCodec: A Predictive Visual Code for Video MLLMs
AdaCodec：面向视频 MLLM 的预测性视觉编码
🧭 多模态大模型 · 视频压缩编码
Shanghai Jiao Tong University · Shanghai Innovation Institute · JD.com
将视频帧编码为自适应 I/P 帧：高预测代价的参考帧保留全量 tokens，中间帧压缩为紧凑 P-tokens，在 1/7 视觉 token 预算下保持甚至超越基线准确率，并大幅降低延迟。
📌 工作参考价值（4 点）
- 对于多模态购物推荐或直播商品理解场景，可借鉴自适应 I/P 帧选择机制，对关键帧保留全量视觉 token，非关键帧仅传输变化信息，大幅降低视频 token 开销，减少推理时延和成本。
- P-tokenizer 将运动向量和残差编码为紧凑 token 的思路，可复用于商品视频的理解前端，在不损失太多有效信息的前提下压缩 token 序列长度，提升多模态模型的吞吐。
- 基于预测代价的自适应 GOP 构造策略，可推广至其他序列建模任务（如用户行为序列），用动态关键点替代均匀采样，平衡信息密度与计算预算。
- 整体方案提供了一种视频 MLLM 的视觉接口设计范式，类似视频压缩中的 I/P 帧思想，可直接用于 Agent 或 RAG 场景中对长视频的实时理解与检索。